light mode
night mode
অ্যাপাচি প্রেস্টো (Apache Presto)
Apache Presto পরিচিতি Presto কী? Presto এর বৈশিষ্ট্য এবং ব্যবহারের ক্ষেত্র Presto এর আর্কিটেকচার Presto এর সুবিধা এবং সীমাবদ্ধতা Presto ইনস্টলেশন এবং কনফিগারেশন Presto ইনস্টলেশন (Linux, Windows, MacOS) Presto Cluster সেটআপ Presto এর সাথে বিভিন্ন ডেটাবেস সংযুক্ত করা (Hive, MySQL, PostgreSQL) Presto কনফিগারেশন ফাইল পরিচিতি (config.properties, node.properties) Presto এর মৌলিক ধারণা Presto এর কনসেপ্ট এবং টার্মিনোলজি (Coordinator, Worker) Query Execution Lifecycle Distributed Query Processing Data Sources এবং Connectors Presto CLI এবং Basic Query Execution Presto CLI ইনস্টল এবং ব্যবহার বেসিক SQL Query চালানো Joins, Filters এবং Aggregation ব্যবহার Complex Query এবং Subqueries পরিচালনা Presto Connectors Presto Connector কী এবং কিভাবে কাজ করে Hive Connector কনফিগারেশন JDBC Connector কনফিগারেশন (MySQL, PostgreSQL) Custom Connector তৈরি করা Data Source Integration HDFS (Hadoop Distributed File System) এর সাথে Integration S3 Data Source কনফিগারেশন NoSQL (Cassandra, MongoDB) এর সাথে Presto এর সংযোগ Presto এবং Elasticsearch Integration Presto Query Planning এবং Optimization Presto Query Execution Plan Query Optimization Techniques Cost-based Query Optimizer Partitioning এবং Bucketing এর মাধ্যমে পারফরমেন্স বাড়ানো SQL Functions এবং Operators Scalar Functions Aggregate Functions Window Functions User Defined Functions (UDF) তৈরি করা Presto Security Management Presto Authentication এবং Authorization Presto TLS/SSL কনফিগারেশন Access Control এবং Role Management Data Encryption in Transit এবং At Rest Performance Tuning Presto Cluster Optimization Techniques Worker Node Scaling এবং Load Balancing Memory এবং CPU Optimization Query Caching এবং Resource Management Presto Cluster Management Presto Cluster Architecture Worker এবং Coordinator Node এর ভূমিকা Cluster Monitoring এবং Health Check Presto Cluster Expansion এবং Node Management Presto Monitoring এবং Logging Presto এর Monitoring Tools (Prometheus, Grafana) Query Logs এবং Error Logs পর্যবেক্ষণ Presto Performance Metrics সংগ্রহ করা Presto Dashboard এবং Alerts কনফিগারেশন Presto with Hive Hive Integration কীভাবে করবেন? Hive এর সাথে Query Execution এবং Optimization Hive Metastore কনফিগারেশন Presto-Hive Partitioning এবং Bucketing ব্যবহার Presto with AWS S3 S3 Data Source কনফিগার করা Presto দিয়ে S3 Data Query করা S3 এবং HDFS এর মধ্যে পার্থক্য S3 Query Optimization Techniques Advanced Presto Query Techniques Advanced Joins এবং Nested Queries Set Operations (Union, Intersect, Except) Window Functions এবং তাদের ব্যবহার Query Parallelization এবং Performance Improvements Presto Resource Groups এবং Workload Management Resource Groups তৈরি এবং পরিচালনা Query Throttling এবং Resource Allocation High-availability এবং Fault-tolerant কনফিগারেশন Workload Balancing Techniques Presto UDF (User Defined Functions) তৈরি করা UDF কী এবং কেন প্রয়োজন? Presto তে Custom UDF কিভাবে লিখবেন? Java দিয়ে UDF তৈরি করা এবং Deploy করা Complex UDF Development এবং Optimization Presto Query Optimization in Multi-tenant Environment Multi-tenant Query Performance Challenges Query Isolation এবং Resource Sharing Multi-cluster Query Optimization Techniques Presto API Integration Presto REST API ব্যবহার করা API দিয়ে Query Execution এবং Result Fetching API Security এবং Authentication API দিয়ে Cluster Management Presto Backup এবং Disaster Recovery Presto Data Backup কৌশল Disaster Recovery Planning Cluster Snapshot এবং Recovery Techniques Presto in Production Production Deployment Best Practices Continuous Integration এবং Continuous Deployment (CI/CD) Presto Version Upgrade কৌশল Production Cluster Monitoring এবং Scaling Presto Ecosystem এবং সম্প্রসারণ Presto এর Ecosystem এবং প্লাগইনস Presto তে নতুন Connector Integration Presto এর ভবিষ্যৎ এবং সম্প্রসারণ

Presto কনফিগারেশন ফাইল পরিচিতি (config.properties, node.properties)

Database Tutorials - অ্যাপাচি প্রেস্টো (Apache Presto) Presto ইনস্টলেশন এবং কনফিগারেশন |
201
201

Presto এর কনফিগারেশন ফাইল দুটি গুরুত্বপূর্ণ ভূমিকা পালন করে:

  1. config.properties
  2. node.properties

এই কনফিগারেশন ফাইলগুলো Presto সার্ভারের কার্যকারিতা নির্ধারণ করে এবং বিভিন্ন সার্ভিসের মধ্যে পারফরম্যান্স, সিকিউরিটি এবং সংযোগের কনফিগারেশন সহজ করে তোলে।

১. config.properties

config.properties ফাইলটি Presto সার্ভারের মূল কনফিগারেশন ফাইল। এটি Presto-এর কো-অর্ডিনেটর এবং ওয়ার্কার নোডের কার্যকারিতা এবং পারফরম্যান্স নিয়ন্ত্রণ করে। সাধারণত, এই ফাইলটি /etc/presto/ বা Presto ইনস্টলেশনের ডিরেক্টরিতে থাকে।

config.properties-এ কিছু গুরুত্বপূর্ণ কনফিগারেশন:

  • coordinator
    এটি নির্দেশ করে Presto সার্ভার কো-অর্ডিনেটর হিসেবে কাজ করবে কি না। কো-অর্ডিনেটর ডেটা প্রসেসিংয়ের জন্য কাজ বরাদ্দ করে এবং কোয়েরি এক্সিকিউশন প্ল্যান তৈরি করে।

    coordinator=true

  • node-scheduler.include-coordinator
    এটি কো-অর্ডিনেটরকে ওয়ার্কার হিসেবে কাজ করতে সক্ষম করে তোলে। সাধারণত, কো-অর্ডিনেটর প্রধানভাবে কো-অর্ডিনেটিংয়ের কাজ করে, কিন্তু যদি এই সেটিংটি true থাকে, তবে এটি কিছু কাজও করতে পারে।

    node-scheduler.include-coordinator=true

  • http-server.http.port
    Presto সার্ভারের HTTP পোর্ট নম্বর নির্ধারণ করে। সাধারণত, এটি 8080 পোর্টে চলে।

    http-server.http.port=8080

  • query.max-memory
    একটি কোয়েরি কতটা মেমরি ব্যবহার করতে পারবে তার সর্বোচ্চ সীমা নির্ধারণ করে।

    query.max-memory=5GB

  • query.max-memory-per-node
    প্রতিটি নোডে একটি কোয়েরি কতটা মেমরি ব্যবহার করতে পারবে তা নির্ধারণ করে।

    query.max-memory-per-node=1GB

  • discovery.uri
    এটি কো-অর্ডিনেটরের URI নির্ধারণ করে, যার মাধ্যমে Worker নোডগুলির সাথে যোগাযোগ করতে পারে।

    discovery.uri=http://<coordinator-ip>:8080

  • http-server.http.enabled
    Presto এর HTTP সার্ভিস চালু বা বন্ধ করার জন্য ব্যবহৃত হয়।

    http-server.http.enabled=true

২. node.properties

node.properties ফাইলটি Presto নোডের নির্দিষ্ট কনফিগারেশন ধারণ করে এবং এটি নির্ধারণ করে যে একটি নোড কো-অর্ডিনেটর হবে কিনা বা এটি শুধুমাত্র Worker নোড হিসেবে কাজ করবে।

node.properties-এ কিছু গুরুত্বপূর্ণ কনফিগারেশন:

  • node.id
    এটি নোডের একটি অনন্য শনাক্তকারী। প্রতিটি Worker নোডের জন্য একটি আলাদা node.id থাকতে হবে।

    node.id=worker-1

  • http-server.http.port
    প্রতিটি Worker নোডের HTTP পোর্ট নম্বর নির্ধারণ করে।

    http-server.http.port=8081

  • coordinator
    এটি নির্ধারণ করে যে এই নোডটি কো-অর্ডিনেটর নাকি Worker নোড হবে। যদি এটি true থাকে, তবে এটি কো-অর্ডিনেটর হিসেবে কাজ করবে, এবং যদি false থাকে তবে এটি Worker হিসেবে কাজ করবে।

    coordinator=false

  • data-dir
    এটি নোডের ডেটা সংরক্ষণ করার জন্য একটি ডিরেক্টরি নির্ধারণ করে।

    data-dir=/var/presto/data

config.properties এবং node.properties এর মধ্যে পার্থক্য:

অংশconfig.propertiesnode.properties
ভূমিকাসার্ভারের সাধারণ কনফিগারেশন (কো-অর্ডিনেটর, পোর্ট, মেমরি সীমা)নোডের নির্দিষ্ট কনফিগারেশন (কো-অর্ডিনেটর/ওয়ার্কার, নোড আইডি)
কনফিগারেশন ধরনের উদাহরণকো-অর্ডিনেটর, HTTP পোর্ট, মেমরি সীমা, ডিসকভারি URIনোড আইডি, HTTP পোর্ট, নোডের ভূমিকা (কো-অর্ডিনেটর/ওয়ার্কার)
স্থানসাধারণত /etc/presto/ বা ইনস্টলেশনের মধ্যে থাকে/etc/presto/ বা ইনস্টলেশনের মধ্যে থাকে

কনফিগারেশন ফাইলগুলি কিভাবে সম্পাদনা করবেন:

  1. config.properties এবং node.properties ফাইলগুলি খুলুন
    আপনি টেক্সট এডিটর ব্যবহার করে (যেমন nano বা vim) কনফিগারেশন ফাইলগুলি সম্পাদনা করতে পারেন:

    sudo nano /etc/presto/config.properties
sudo nano /etc/presto/node.properties
  2. কনফিগারেশন পরিবর্তন করুন
    আপনার পরিবেশ অনুযায়ী কনফিগারেশন মানগুলো পরিবর্তন করুন (যেমন কো-অর্ডিনেটর ও নোড আইডি, পোর্ট নম্বর, মেমরি সীমা)।

  3. Presto পুনরায় শুরু করুন
    কনফিগারেশন পরিবর্তন করার পর, Presto সার্ভার পুনরায় চালু করুন:

    sudo /opt/presto/bin/launcher restart

এই কনফিগারেশন ফাইলগুলির মাধ্যমে আপনি Presto সার্ভার এবং নোডগুলির কার্যকারিতা সম্পূর্ণরূপে কাস্টমাইজ করতে পারবেন। Proper configuration ensures better performance, resource allocation, and overall management of Presto clusters.

common.content_added_by
Md Azizur Rahman

common.read_more

Presto ইনস্টলেশন (Linux, Windows, MacOS) Presto Cluster সেটআপ Presto এর সাথে বিভিন্ন ডেটাবেস সংযুক্ত করা (Hive, MySQL, PostgreSQL)
টপ রেটেড অ্যাপ

স্যাট অ্যাকাডেমী অ্যাপ

আমাদের অল-ইন-ওয়ান মোবাইল অ্যাপের মাধ্যমে সীমাহীন শেখার সুযোগ উপভোগ করুন।

ভিডিও
লাইভ ক্লাস
এক্সাম
ডাউনলোড করুন

common.or

auth.dont_have_account auth.register

Promotion